Pada tahun 1915, Salim menyertai Sarekat Islam dan menjadi ketua keduanya selepas H.O.S. Tjokroaminoto. Peranannya pada masa perjuangan kemerdekaan Republik Indonesia antara lain termasuk:

• anggota Volksraad (1921-1924)
• anggota jawatankuasa Badan Penyelidik Usaha Persiapan Kemerdekaan Indonesia (BPUPKI) yang mempersiapkan UUD 1945
• Menteri Muda Luar Negeri dalam Kabinet Sjahrir II (1946) dan Sjahrir III (1947)
• pembukaan hubungan diplomatik Indonesia dengan negara-negara Arab, terutamanya Mesir pada tahun 1947
• Menteri Luar Negeri dalam Kabinet Amir Sjarifuddin (1947)
• Menteri Luar Negeri dalam Kabinet Hatta (1948-1949)

Antara tahun-tahun 1946-1950, Salim laksana bintang cemerlang dalam pergolakan politik Indonesia sehingga kerap kali digelar "Orang Tua Besar". Beliau menjawat Menteri Luar Negeri dalam Kabinet Presiden Indonesia dan pada tahun 1950 sehingga akhir hayatnya merupakan Penasihat Menteri Luar Negeri.

Pada tahun 1952, Salim menjadi Ketua Dewan Kehormatan Persatuan Wartawan Indonesia (PWI). Biarpun pennya tajam dan kritikannya pedas, namun Salim masih mengenal batas-batas dan menjunjung tinggi Kod Etika Kewartawanan.

Setelah berundur daripada dunia politik, Salim mengarang sebuah buku pada tahun 1953 yang berjudul Bagaimana Takdir, Tawakal dan Tauhid harus difahami? yang kemudian diperbaiki menjadi Keterangan Falsafah Tentang Tauhid, Takdir dan Tawakal.

Salim meninggal dunia pada tahun 1954 di Hospital Besar Jakarta dan dimakamkan di Taman Makam Pahlawan Kalibata, Jakarta.